Ông là đại biểu Quốc hội Việt Nam khóa XI, XII, XIII, Trưởng đoàn ĐBQH tỉnh Nghệ An khóa XIII, ủy viên Uỷ ban Tài chính - Ngân sách của Quốc hội khóa XIII.

Ông cũng là đại biểu Hội đồng nhân dân tỉnh Nghệ An khóa 13, 14, 15, 16 (nhiệm kỳ 2011-2016).[3]

Ông từng là Giám đốc Công an tỉnh Nghệ An, hàm Đại tá.

Năm 2005, ông giữ chức Phó Bí thư Tỉnh ủy, Chủ tịch Ủy ban nhân dân tỉnh Nghệ An.[6]

Ngày 17/10/2010,ông được bầu làm Bí thư Tỉnh ủy Nghệ An khóa 17 nhiệm kì 2010-2015.[4][5]

Ngày 20/2/2013, ông thôi giữ chức Bí thư Tỉnh ủy Nghệ An và được Bộ Chính trị điều động làm Phó Trưởng ban Nội chính Trung ương.[4]

Tại Đại hội Đại biểu toàn quốc lần thứ XI của Đảng diễn ra vào ngày 19 tháng 1 năm 2011,ông trúng cử Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá XI. Từ tháng 1/2013, ông chính thức làm Phó Trưởng Ban Nội chính Trung ương.

Ngày 21/1/2015, ông nhận nhiệm vụ là Phó Trưởng ban Thường trực Ban Nội chính Trung ương giúp điều hành khi ông Nguyễn Bá Thanh nghỉ chữa bệnh.[6]

Ngày 8/9/2015, ông được Bộ Chính trị phân công làm Ủy viên thường trực Ban Chỉ đạo Trung ương về phòng, chống tham nhũng.[7]

Tại Đại hội Đại biểu toàn quốc lần thứ XII của Đảng diễn ra vào ngày 26 tháng 1 năm 2016, ông tái đắc cử Ủy viên Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa XII.

Ngày 28 tháng 2 năm 2016, Phan Đình Trạc được Bộ Chính trị Đảng Cộng sản Việt Nam phân công làm Trưởng ban Ban Nội chính Trung ương.[8]

Ngày 6 tháng 10 năm 2017, tại Hội nghị Trung ương 6, Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa XII đã bầu bổ sung Phan Đình Trạc làm Ủy viên Ban Bí thư.[9] Ngày 30 tháng 01 năm 2021, tại phiên bầu cử Đại hội Đảng toàn quốc lần thứ XIII, ông được bầu làm Ủy viên chính thức Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khoá XIII.[10] Ngày 31, tại phiên họp đầu tiên của Trung ương Đảng khóa XIII, ông được bầu làm Ủy viên Bộ Chính trị Ban Chấp hành Trung ương Đảng Cộng sản Việt Nam khóa XIII.[11]